Partición causal preregistrada de elicitación y diseño de recompensas en RLVR
Investigación revela que el estimador ingenuo en RLVR mezcla elicitación y diseño de recompensas. Un nuevo método de partición causal permite auditar resultados.
#recompensas verificables
MDP-GRPO: Optimización de Políticas Grupales Estabilizada para Instrucciones Multi-Restricción
Descubre MDP-GRPO, un método que estabiliza GRPO bajo recompensas discretas, mejorando el cumplimiento de restricciones hasta un 5%. Ideal para IA confiable.
Estimaciones de ventaja para gradientes de política Max@K
Descubre cómo MaxPO optimiza el post-entrenamiento de LLMs con una nueva línea base Leave-Two-Out que centra la ventaja y reduce la varianza del gradiente.
Smart Picks en la oscuridad: RLVR eficiente con trazado metacognitivo
Descubre cómo PivotTrace logra un rendimiento casi total con solo el 29% de datos etiquetados y una convergencia 2.75 veces más rápida en RLVR.
GeoMin: Modelado Geométrico para RLVR Semi-Supervisado Eficiente
GeoMin optimiza RLVR semi-supervisado usando modelado geométrico. Logra +4.1% sobre los mejores y supera la supervisión completa con solo el 10% de datos etiquetados.
Replay de experiencia a nivel de rollout para GRPO
Descubre cómo el nuevo método de replay priorizado por ventaja mejora la eficiencia muestral en GRPO para LLMs, logrando +4.35% en benchmarks.
ThoughtFold: Plegado de Cadenas de Razonamiento con Aprendizaje Introspectivo
Descubre ThoughtFold, un framework que elimina exploraciones redundantes en modelos de razonamiento, reduciendo tokens hasta un 56% sin perder precisión.
CAST: Autoenseñanza no privilegiada con inversión de ventaja para GRPO
CAST optimiza el RLVR con autoenseñanza no privilegiada y asignación de ventajas token en grupos de varianza cero. Mejora el razonamiento.
Antes de que el modelo aprenda el error: fuzzing de verificadores RLVR
Descubre cómo el fuzzing de verificadores RLVR revela bugs antes de que el modelo los aprenda. Mejora la seguridad de tu IA con métricas clave.
RLVR sin muestras ineficaces: POPO para razonamiento LLM
POPO elimina muestras ineficaces acelerando el fine-tuning de LLM para razonamiento matemático, planificación y geometría visual con menos rollouts.
CARE-RL: Mitigando Conflictos entre Dominios con RL Consciente de Capacidades
Descubre cómo CARE-RL mitiga conflictos entre dominios en LLMs con aprendizaje por refuerzo consciente de capacidades, con resultados superiores en benchmarks.
LongTraceRL: Razón de largo contexto con recompensas de rúbrica
LongTraceRL mejora el razonamiento en contexto largo usando recompensas de rúbrica y distractores por niveles desde trayectorias de agentes de búsqueda.
Softmax Recocido Greedy en Bandidos Bayesianos de Muchos Brazos
Softmax Recocido logra arrepentimiento casi óptimo en bandidos Bayesianos, explicando por qué GRPO funciona sin incertidumbre explícita.
EchoRL: Aprendizaje por Refuerzo mediante Rollout Echoing
EchoRL identifica EchoClips en rollouts exitosos para proporcionar supervisión auxiliar y mejorar el aprendizaje por refuerzo en LLMs, superando la degeneración de ventajas.